Bi-encoders and cross-encoders are widely used in many state-of-the-art retrieval pipelines. In this work we study the generalization ability of these two types of architectures on a wide range of parameter count on both in-domain and out-of-domain scenarios. We find that the number of parameters and early query-document interactions of cross-encoders play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that cross-encoders largely outperform bi-encoders of similar size in several tasks. In the BEIR benchmark, our largest cross-encoder surpasses a state-of-the-art bi-encoder by more than 4 average points. Finally, we show that using bi-encoders as first-stage retrievers provides no gains in comparison to a simpler retriever such as BM25 on out-of-domain tasks. The code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git

最近的工作表明，小型蒸馏语言模型是强大的竞争对手，这些模型是在广泛的信息检索任务中更大且较慢的数量级。由于潜伏期的限制，这使蒸馏而密集的模型是在现实世界检索应用程序中部署的首选选择。在这项工作中，我们通过证明参数和早期查询文档互动的数量在检索模型的概括能力中起着重要作用来质疑这种做法。我们的实验表明，增加模型大小会导致内域测试集的边际增长，但是在微调过程中从未见过的新领域的增长幅度更大。此外，我们表明，在几个任务中，Rerankers在很大程度上都超过了相似大小的密集。我们最大的重读者在基准-IR（BEIR）的18个数据集中的12个数据集中达到了最新技术，并超过了先前的最新水平。最后，我们确认内域的有效性不是零弹性有效性的良好指标。代码可从https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git获得。

MARCO排名数据集已广泛用于培训IR任务的深度学习模型，在不同的零射击方案上实现了相当大的效果。但是，这种类型的资源是英语以外的语言的稀缺。在这项工作中，我们呈现MMARCO，MS Marco段落的多语言版本，该数据集包括使用机器翻译创建的13种语言。我们通过微调单语和多语言重新排名模型以及此数据集的密集多语言模型进行了评估。实验结果表明，在我们翻译的数据集上微调微调的多语言模型可以单独对原始英文版的模型进行微调的卓越效果。我们蒸馏的多语言RE-RANKER与非蒸馏模型具有竞争力，而参数较少的5.4倍。最后，我们展现了翻译质量和检索效果之间的正相关性，提供了证据，即翻译方法的改进可能导致多语言信息检索的改进。翻译的数据集和微调模型可在https://github.com/unicamp-dl/mmarco.git上获得。

一种有效的横向传输方法是在一种语言中微调在监督数据集上的双语或多语言模型，并以零拍方式在另一种语言上进行评估。在培训时间或推理时间翻译例子也是可行的替代方案。然而，存在与文献中很少有关的这些方法相关的成本。在这项工作中，我们在其有效性（例如，准确性），开发和部署成本方面分析交叉语言方法，以及推理时间的延迟。我们的三个任务的实验表明最好的交叉方法是高度任务依赖性的。最后，通过结合零射和翻译方法，我们在这项工作中使用的三个数据集中实现了最先进的。基于这些结果，我们对目标语言手动标记的培训数据有所了解。代码和翻译的数据集可在https://github.com/unicamp-dl/cross-lingsual-analysis上获得

Traditionally, data analysis and theory have been viewed as separate disciplines, each feeding into fundamentally different types of models. Modern deep learning technology is beginning to unify these two disciplines and will produce a new class of predictively powerful space weather models that combine the physical insights gained by data and theory. We call on NASA to invest in the research and infrastructure necessary for the heliophysics' community to take advantage of these advances.

Training agents via off-policy deep reinforcement learning (RL) requires a large memory, named replay memory, that stores past experiences used for learning. These experiences are sampled, uniformly or non-uniformly, to create the batches used for training. When calculating the loss function, off-policy algorithms assume that all samples are of the same importance. In this paper, we hypothesize that training can be enhanced by assigning different importance for each experience based on their temporal-difference (TD) error directly in the training objective. We propose a novel method that introduces a weighting factor for each experience when calculating the loss function at the learning stage. In addition to improving convergence speed when used with uniform sampling, the method can be combined with prioritization methods for non-uniform sampling. Combining the proposed method with prioritization methods improves sampling efficiency while increasing the performance of TD-based off-policy RL algorithms. The effectiveness of the proposed method is demonstrated by experiments in six environments of the OpenAI Gym suite. The experimental results demonstrate that the proposed method achieves a 33%~76% reduction of convergence speed in three environments and an 11% increase in returns and a 3%~10% increase in success rate for other three environments.

我们介绍MR-NET，这是一种用于多分辨率神经网络的一般体系结构，也是基于此体系结构进行成像应用的框架。我们的基于坐标的网络在空间和规模上都是连续的，因为它们由多个阶段组成，这些阶段逐渐增加了更细节。除此之外，它们是一个紧凑而有效的表示。我们展示了多分辨率图像表示以及用于纹理放大和缩小以及抗脉化的应用。

雨林在全球生态系统中起着重要作用。但是，由于几个原因，它们的重要区域正面临森林砍伐和退化。创建了各种政府和私人计划，以监视和警报遥感图像增加森林砍伐的增加，并使用不同的方式处理显着的生成数据。公民科学项目也可以用于实现相同的目标。公民科学由涉及非专业志愿者进行分析，收集数据和使用其计算资源的科学研究组成，并在科学方面取得进步，并提高公众对特定知识领域的问题的理解，例如天文学，化学，数学和物理学。从这个意义上讲，这项工作提出了一个名为Foresteyes的公民科学项目，该项目通过对遥感图像的分析和分类来使用志愿者的答案来监视雨林中的森林砍伐区域。为了评估这些答案的质量，使用来自巴西法律亚马逊的遥感图像启动了不同的活动/工作流程，并将其结果与亚马逊森林砍伐监测项目生产的官方地面图进行了比较。在这项工作中，在2013年和2016年围绕着Rond \^onia州的前两个工作流程收到了35,000美元以上的$ 383 $志愿者的答复，$ 2,050 $ 2,050 $在发布后仅两周半就创建了任务。对于其他四个工作流程，甚至封闭了同一区域（Rond \^onia）和不同的设置（例如，图像分割方法，图像分辨率和检测目标），他们收到了$ 51,035美元的志愿者的答案，从$ 281的志愿者收取的$ 3,358 $ $ 3,358 $任务。在执行的实验中...

太阳能动力学天文台（SDO）是NASA多光谱十年的长达任务，每天都在日常产生来自Sun的观测数据的trabytes，以证明机器学习方法的潜力并铺路未来深空任务计划的方式。特别是，在最近的几项研究中提出了使用图像到图像翻译实际上产生极端超紫罗兰通道的想法，这是一种增强任务较少通道的提高任务的方法，并且由于低下链接而减轻了挑战。深空的速率。本文通过关注四个通道和基于编码器的建筑的排列来研究这种深度学习方法的潜力和局限性，并特别注意太阳表面的形态特征和亮度如何影响神经网络预测。在这项工作中，我们想回答以下问题：可以将通过图像到图像翻译产生的太阳电晕的合成图像用于太阳的科学研究吗？分析强调，神经网络在计数率（像素强度）上产生高质量的图像，通常可以在1％误差范围内跨通道跨通道重现协方差。但是，模型性能在极高的能量事件（如耀斑）的对应关系中大大减少，我们认为原因与此类事件的稀有性有关，这对模型训练构成了挑战。

迭代创建像素艺术角色精灵板对于游戏开发过程至关重要。但是，直到完成包含不同姿势和动画片段的最终版本之前，可能需要大量精力。本文使用条件生成的对抗网络调查，以帮助设计师创建此类精灵片。我们提出了一个基于Pix2Pix的体系结构，以生成面向目标侧（例如，右）的字符图像（例如，右）在源姿势中（例如，前面）。使用小像素ART数据集的实验产生了令人鼓舞的结果，导致模型具有不同程度的概括，有时能够生成非常接近地面真相的图像。我们通过视觉检查和FID进行定量分析结果。